Skip to main content

高频命令

高频命令​

要检查Hadoop集群的健康状态，可以使用以下命令：

HDFS 相关​

集群之间拷贝​

hadoop distcp -skipcrccheck -update -m 8 src target

切换active的namenode节点​

hdfs haadmin -ns bigdata -getServiceState nn1
hdfs haadmin -ns bigdata -failover nn3 nn2

添加新的namenode以后刷新配置datanode配置​

hdfs dfsadmin -refreshNodes

打开安全模式​

hdfs dfsadmin -safemode enter

关闭安全模式​

hdfs dfsadmin -safemode leave

namenode 数据落盘​

hdfs dfsadmin -saveNamespace

检查HDFS健康状态​

hdfs dfsadmin -report

此命令将显示有关HDFS集群的详细信息，包括DataNode的数量、块的数量、集群的总容量和使用情况等。通过检查这些信息，可以了解HDFS的健康状况。

检查Hadoop集群整体健康状态​

hdfs haadmin -getAllServiceState

此命令将显示Hadoop集群中每个NameNode的状态，包括活动状态、备用状态或不可用状态。

检查Hadoop集群的文件健康状态​

hdfs fsck /data -files -blocks -locations

如果损坏的是不要的那么可以直接执行下面命令删除

hdfs fsck / -delete

通过执行上述命令和检查日志文件，您可以获得有关Hadoop集群的文件健康状态的信息。如果发现任何错误或异常，请根据错误消息进行故障排除和修复。

刷新 datanode 节点(datanode扩容的时候使用)​

集群扩容缩容的时候用到这个命令。

hdfs dfsadmin -refreshNodes

设置HDFS均衡器（Balancer）的带宽限制​

hdfs dfsadmin -setBalancerBandwidth 104857600

HDFS均衡器是Hadoop分布式文件系统（HDFS）中的一个工具，用于在集群中移动数据块以实现数据的均衡分布。均衡器可以将数据从一个节点移动到另一个节点，以确保集群中的存储空间和负载均衡。

通过hdfs dfsadmin -setBalancerBandwidth命令，可以设置均衡器的带宽限制。带宽限制是指在进行数据均衡操作时，限制均衡器使用的网络带宽。带宽限制的单位是字节/秒。

在命令中，104857600 是带宽限制的值，表示每秒允许使用的带宽为 104857600 字节，即 100 MB/s。通过设置带宽限制，可以控制均衡器在进行数据均衡时使用的网络带宽，以避免对其他应用程序或服务造成过大的网络负载。

运行HDFS均衡器（Balancer）并设置数据均衡的阈值​

hdfs balancer -threshold 1

HDFS均衡器是Hadoop分布式文件系统（HDFS）中的一个工具，用于在集群中移动数据块以实现数据的均衡分布。均衡器可以将数据从一个节点移动到另一个节点，以确保集群中的存储空间和负载均衡。通过hdfs balancer命令，可以运行HDFS均衡器。使用-threshold选项，可以设置数据均衡的阈值。阈值是指数据均衡器在进行数据移动时所考虑的不平衡阈值。在命令中，1 是阈值的值，表示只有当某个节点的数据块数量与集群中最少数据块数量的节点之间的差异超过1时，才会触发数据均衡操作。通过设置阈值，可以控制均衡器何时开始执行数据均衡操作。较低的阈值会更频繁地触发均衡操作，而较高的阈值会减少均衡操作的频率。-threshold选项用于设置数据均衡的阈值，该阈值是一个百分比值，而不是具体的数据大小。默认情况下，阈值为10，表示当某个节点的数据块数量与集群中最少数据块数量的节点之间的差异超过10%时，才会触发数据均衡操作。

启动 datanode​

./hadoop-daemon.sh start datanode

启动 namenode​

sbin/hadoop-daemon.sh start namenode

http 模式检查 HDFS 健康状态​

curl http://master1:9870/fsck

动态配置 HDFS 文件副本​

hadoop fs -setrep -w 3 -R /

namenode 数据修复​

hadoop namenode -recover

datanode 数据磁盘均衡操作 (加入新磁盘以后的操作)​

hdfs diskbalancer -plan node1(要均衡的机器)

执行均衡计划

hdfs diskbalancer -execute /system/diskbalancer/2016-Aug-17-17-03-56/172.26.10.16.plan.json

检查均衡效果

hdfs diskbalancer -query node1

  • PLAN_UNDER_PROGRESS 表示正在平衡

  • PLAN_DONE 表示完成

查看磁盘均衡情况

df -h

相关文章

https://www.hadoopdoc.com/hdfs/hdfs-disk-balance

https://blog.csdn.net/qq_35745940/article/details/126439759

YARN 相关​

检查 YARN 健康状态​

yarn node -list

此命令将显示YARN集群中所有节点的详细信息，包括节点的状态、资源使用情况等。通过检查这些信息，可以了解YARN的健康状况。

查看 YARN 的高可用状态​

yarn rmadmin -getAllServiceState

刷新调度队列配置​

yarn rmadmin -refreshQueues

kill 应用​

yarn application -kill application_1689211635279_2513

查看日志​

yarn logs -applicationId application_1689211635279_2353 > test